Cha là ông Ngô Kim Đính, và mẹ là bà Đỗ Thị Ngọc. Ông là người con thứ 4 (nên thường được gọi là Cậu Năm, theo cách gọi của người miền Nam).Vì gia đình nghèo, nên ông chỉ học hết lớp 3 trường làng, rồi ở nhà để coi sóc am tu của ông bà để lại. Năm 18 tuổi, ông đến xã Phú Hữu (huyện Long Phú) thuê 2 công đất để làm rẫy. Vì thiếu ăn, lại làm quá sức, nên ông ngã bệnh. Sau khi được cha mẹ rước về nhà chữa trị và khỏi bệnh, ông đi đào đất sét đem về phơi khô, giã nhuyễn,...rồi nhào nắn nên những cốt tượng theo trí tưởng tượng của minh. Với lòng say mê hiếm có, ông đã miệt mài vừa làm, vừa học để làm ra tác phẩm, chứ không kinh qua trường lớp.

Năm ông 38 tuổi, cha ông mất. Kể từ đó, ông và người chị ba cùng nối nghiệp cha, trường chay tu học, và ông trở thành người kế thừa đời thứ tư của dòng họ "Ngô Cư Sĩ Học Phật Tu Nhơn". Sau khi tạo tác xong những tác phẩm bằng đất sét, bằng sáp...đã kể trên, ông mất vào ngày 18 tháng 7 năm Canh Tuất (1970), hưởng thọ 62 tuổi (tuổi ta)[4].

Khen ngợi tài năng và sức sáng tạo của ông, một nhà văn đã nói: "Có thể nói Cậu Năm Ngô Kim Tòng là người sống vì đất. Suốt 42 năm miệt mài với từng gánh đất, nâng niu từng vốc đất, cậu đã tạo dáng cho đất, phả hồn thiêng vào đất, tạo nhịp đập trái tim cho đất để trăm năm sau đất cất tiếng nói thay người"...[5]. Hiện nay, trong chùa Đất Sét có bàn thờ ông.